AI资讯新闻榜单内容搜索-Mahalanobi

关键词: AI新闻,模型训练,Mahalanobis-Ensemble Decoding,ME-Decoding

中国人民大学代文林、孟澄研究员团队提出的ME-Decoding方法被EMNLP 2026接收，该方法在解码时同时利用token概率与embedding相似度，从集合层面筛选低冗余候选token，在GSM8K和GPQA上取得所比较方法中最高的平均准确率，端到端GPU延迟仅增加约3%。

关键词: AI新闻,模型训练,Mixture-of-Experts,Mahalanobis-Pruned Mixture-of-Experts,MP-MoE

近年来，Mixture-of-Experts（MoE）已经成为大模型扩展的重要架构之一。相比稠密 Transformer，MoE 通过稀疏激活机制，在每个 token 上只调用少量专家，从而在控制计算成本的同时扩大模型容量。然而，一个长期存在的问题是：专家越多，并不意味着专家真的学得越 “专”。